Holistic Approach for Authoring Immersive and Smart Environments for the Integration in Engineering Education

Die vierte industrielle Revolution und der rasante technologische Fortschritt stellen die etablierten Bildungsstrukturen und traditionellen Bildungspraktiken in Frage. Besonders in der Ingenieurausbildung erfordert das lebenslange Lernen, dass man sein Wissen und seine Fähigkeiten ständig verbessern muss, um auf dem Arbeitsmarkt wettbewerbsfähig zu sein. Es besteht die Notwendigkeit eines Paradigmenwechsels in der Bildung und Ausbildung hin zu neuen Technologien wie virtueller Realität und künstlicher Intelligenz. Die Einbeziehung dieser Technologien in ein Bildungsprogramm ist jedoch nicht so einfach wie die Investition in neue Geräte oder Software. Es müssen neue Bildungsprogramme geschaffen oder alte von Grund auf umgestaltet werden. Dabei handelt es sich um komplexe und umfangreiche Prozesse, die Entscheidungsfindung, Design und Entwicklung umfassen. Diese sind mit erheblichen Herausforderungen verbunden, die die Überwindung vieler Hindernisse erfordert. Diese Arbeit stellt eine Methodologie vor, die sich mit den Herausforderungen der Nutzung von Virtueller Realität und Künstlicher Intelligenz als Schlüsseltechnologien in der Ingenieurausbildung befasst. Die Methodologie hat zum Ziel, die Hauptakteure anzuleiten, um den Lernprozess zu verbessern, sowie neuartige und effiziente Lernerfahrungen zu ermöglichen. Da jedes Bildungsprogramm einzigartig ist, folgt die Methodik einem ganzheitlichen Ansatz, um die Erstellung maßgeschneiderter Kurse oder Ausbildungen zu unterstützen. Zu diesem Zweck werden die Wechselwirkung zwischen verschiedenen Aspekten berücksichtigt. Diese werden in den drei Ebenen - Bildung, Technologie und Management zusammengefasst. Die Methodik betont den Einfluss der Technologien auf die Unterrichtsgestaltung und die Managementprozesse. Sie liefert Methoden zur Entscheidungsfindung auf der Grundlage einer umfassenden pädagogischen, technologischen und wirtschaftlichen Analyse. Darüber hinaus unterstützt sie den Prozess der didaktischen Gestaltung durch eine umfassende Kategorisierung der Vor- und Nachteile immersiver Lernumgebungen und zeigt auf, welche ihrer Eigenschaften den Lernprozess verbessern können. Ein besonderer Schwerpunkt liegt auf der systematischen Gestaltung immersiver Systeme und der effizienten Erstellung immersiver Anwendungen unter Verwendung von Methoden aus dem Bereich der künstlichen Intelligenz. Es werden vier Anwendungsfälle mit verschiedenen Ausbildungsprogrammen vorgestellt, um die Methodik zu validieren. Jedes Bildungsprogramm hat seine eigenen Ziele und in Kombination decken sie die Validierung aller Ebenen der Methodik ab. Die Methodik wurde iterativ mit jedem Validierungsprojekt weiterentwickelt und verbessert. Die Ergebnisse zeigen, dass die Methodik zuverlässig und auf viele Szenarien sowie auf die meisten Bildungsstufen und Bereiche übertragbar ist. Durch die Anwendung der in dieser Arbeit vorgestellten Methoden können Interessengruppen immersiven Technologien effektiv und effizient in ihre Unterrichtspraxis integrieren. Darüber hinaus können sie auf der Grundlage der vorgeschlagenen Ansätze Aufwand, Zeit und Kosten für die Planung, Entwicklung und Wartung der immersiven Systeme sparen. Die Technologie verlagert die Rolle des Lehrenden in eine Moderatorrolle. Außerdem bekommen die Lehrkräfte die Möglichkeit die Lernenden individuell zu unterstützen und sich auf deren kognitive Fähigkeiten höherer Ordnung zu konzentrieren. Als Hauptergebnis erhalten die Lernenden eine angemessene, qualitativ hochwertige und zeitgemäße Ausbildung, die sie qualifizierter, erfolgreicher und zufriedener macht

Categorisation of the benefits and limitations of immersive technologies for education

Virtual and augmented reality have become attractive technologies for application in educational setups. Hence, instructional designers are still struggling with the questions of whether immersive technologies can help to solve their current instructional problems and of how they should be incorporated into the educational program. This paper should bring us a step closer to the solution of this issue by proposing an extensive categorisation of the advantages and disadvantages of VR and AR technology for education. It was iteratively developed based on literature review, expert interviews and user reports. Each benefit category was assigned to the technological features such as multimodality, interactivity and visual-spatial representation that may bring forth the wished benefits. Additionally, some examples serve for a better understanding of how the benefits manifest themselves

Immersive Kansei Engineering : A New Method and its Potentials

Product development becomes more and more complex. Products obtain more and more functions and at the same time they must be still attractive for the customers to ensure a successful product launch. To predict their acceptance and to gain knowledge on how to design attractive products new methods are developed in the field of the emotional design. Such a method is the Kansei Engineering, which collects the customers hidden subjective needs and their translation into concrete products. We present and validate a new form of the Kansei Engineering method for emotional assessment by the customers during the product development, based on an interactive product experience in Virtual Reality. The major novelty of our kind of method is the use of immersive representations which focuses on both, the product itself and its environmental context, too. Customers experience these virtual representations quite dynamically and with this freely describe their emotional influence on them. We come to the conclusion that more reliable emotional customer feedback can be acquired through the implementation of the proposed context paradigm shift. The fusion of product and environmental context enables the simultaneous role of the customer as a subject (actor) and an object (observer) in the virtual world, thus promoting reliable emotional reactions. Despite of some disadvantages, we propose Immersive Kansei Engineering as a reliable method for emotional product assessment by the customer

Collaborative Work Enabled by Immersive Environments

Digital transformation facilitates new methods for remote collaboration while shaping a new understanding of working together. In this chapter, we consider global collaboration in the context of digital transformation, discuss the role of Collaborative Virtual Environments (CVEs) within the transformation process, present an overview of the state of CVEs and go into more detail on significant challenges in CVEs by providing recent approaches from research

Immersive Hand Instructions in AR – Insights for Asynchronous Remote Collaboration on Spatio-Temporal Manual Tasks

Collaborative Virtual Environments (CVEs) have recently become more prominent in academic research and industrial applications. Physical tasks often rely on sharing spatial information between the collaborators, which are difficult to communicate verbally or by 2D media. Immersive technologies, like Mixed Reality (MR), can sup-port more natural and intuitive interaction between the collaborators, share important non-verbal cues, like gaze and deictic gestures, and improve the performance time of remote guidance tasks. In this work we present HoloHands - a concept for immersive hand instructions which can be used for asynchronous remote collaboration on spatial tasks. A Hololens device is utilized to capture hand motions and interactions with virtual representations of physical objects to create a guidance by simply demonstrating the instruction steps. The recordings can be consumed by other collaborators at a later time to perform the physical task which we validated in a preliminary user experiment. Since it allows the creation and retention of digital information for a later consumption, it provides the possibility to revisit previous work sessions at any time and thus opens new possi-bilities to collaborate asynchronously on spatio-temporal tasks. In this work we share valuable insights from our experience with the HoloHands concept and the utilization of the Hololens headset